之前在做cdn运维的时候，因为业务的特殊性（跨机房，跨ISP，跨区域），把日志集中传输到一个中心来做qos的分析不太现实，因此采用的方法是每5分钟对nginx日志进行切割，然后通过python程序计算httpcode的分布，并通过zabbix来实现单台机器nginxqos的监控，配合对zabbix数据库的lastvalue进行聚合，则可以监控整个cdn的流量，qos数据等，这样一般发现问题的延迟就在5分钟左右（cdn的qos敏感性不是很强）,配合rsync+hadoop+hive来计算nginx的日志，也可以得到更加详细的各个维度的分析（离线数据分析），下面贴下nginx日志使用的分析脚本：

400是HTTP的状态码，主要有两种形式：1、badrequest意思是"错误的请求"；2、invalidhostname意思是"不存在的域名"。400BadRequest是由于明显的客户端错误（例如，格式错误的请求语法，太大的大小，无效的请求消息或欺骗性路由请求），服务器不能或不会处理该请求。在ajax请求后台数据时比较常见。产生HTTP400错误的原因有：1、前端提交数据的字段名称或者是字段类型和后台的实体类不一致，导致无法封装；2、前端提交的到后台的数据应该是json字符串类型，而前端没有将对象转化为字符串类型；解决方案：1、对照字段名称，类型保证一致性2、使用stringify将前端传

400是HTTP的状态码，主要有两种形式：1、badrequest意思是"错误的请求"；2、invalidhostname意思是"不存在的域名"。400BadRequest是由于明显的客户端错误（例如，格式错误的请求语法，太大的大小，无效的请求消息或欺骗性路由请求），服务器不能或不会处理该请求。在ajax请求后台数据时比较常见。产生HTTP400错误的原因有：1、前端提交数据的字段名称或者是字段类型和后台的实体类不一致，导致无法封装；2、前端提交的到后台的数据应该是json字符串类型，而前端没有将对象转化为字符串类型；解决方案：1、对照字段名称，类型保证一致性2、使用stringify将前端传